04 Application of theory

SQL生成

RAGの応用

まずは単純なRAGから

Metadata filters

Embedding formatting

埋め込みのフォーマットを変えた

Simple retrieval

質問のコサイン類似度

質問のデータベーススキーマが異なれば回答も同じように全く異なる

だから質問のコサイン類似度検索はうまくいかない

HyDE retrieval

仮説的なドキュメント埋め込み（実際にはない埋め込みってこと？）

Cross-encoder reranking

質問の難易度

難易度で重み付けしてそれをRAGの検索に使う

Contextual retrieval（なんだろう）

advanced

self-consistency

クエリをrunする。エラーを入力する

Auto-evaluation

Chain of thought reasoning

スコア

Baseline 69%

Rag Question Only

Rag Answer n=3

Rag Answer n=5 80%（ここまで数日）

Target 84%

fine tuningへ

Scale AIによる

FT + Reduced Schema

FT + RAG 83.5%

リーダーボード上位は複雑な手法（エッジケースのハードコード）を使っている

強調しているのはアプローチのシンプルさ

49回の反復？（まとめで聞いた覚え）